GermanWikipedia - /page/entry.mu

Micron Document

<!DOCTYPE html>

<title>LLaMA-Sprachmodell</title>

</head>

<h1 id="firstHeading" class="firstHeading mw-first-heading">LLaMA-Sprachmodell</h1>

</header>

</div>

<div id="mw-content-text" class="mw-body-content mw-content-ltr" lang="de" dir="ltr"><div class="mw-content-ltr mw-parser-output" lang="de" dir="ltr">Das LLaMA (Large Language Model Meta AI) von <a href="Meta_Platforms" title="Meta Platforms">Meta</a> ist ein sogenanntes <a href="Gro%C3%9Fes_Sprachmodell" class="mw-redirect" title="Großes Sprachmodell">Großes Sprachmodell</a>, das von <a href="Meta_AI" title="Meta AI">Meta AI</a> am 24. Februar 2023 veröffentlicht wurde.<a href="#cite_note-1">[1]</a> Es ist ein generatives <a href="Sprachmodell" title="Sprachmodell">Sprachmodell</a>, das in der Lage ist, menschenähnlichen Text zu erzeugen, Sprachen zu übersetzen, verschiedene Arten kreativer Inhalte zu schreiben und Fragen informativ zu beantworten.<a href="#cite_note-:0-2">[2]</a><a href="#cite_note-:1-3">[3]</a><a href="#cite_note-4">[4]</a>

<div class="mw-heading mw-heading2"><h2 id="Veröffentlichung">Veröffentlichung</h2></div>

LLaMA wurde am 23. Februar 2023 in einem Blogbeitrag und einem wissenschaftlichen Papier angekündigt, in dem das Training, die Architektur und die Leistung des Modells beschrieben wurden.<a href="#cite_note-:0-2">[2]</a> Der Programmcode, der zur Ausführung des Modells verwendet wird, wurde unter der <a href="GNU_General_Public_License" title="GNU General Public License">Open-Source-Lizenz GPL 3</a> veröffentlicht und kann via <a href="GitHub" title="GitHub">Github</a> abgerufen werden.<a href="#cite_note-5">[5]</a> Der Zugang zu dem Modell wird von Fall zu Fall akademischen Forschern, Mitarbeitern von staatlichen, zivilgesellschaftlichen und akademischen Organisationen sowie Forschungslabors der Industrie in aller Welt gewährt.<a href="#cite_note-6">[6]</a>

<div class="mw-heading mw-heading2"><h2 id="Details">Details</h2></div>

Für die erste Version von LLaMA wurden vier Modellgrößen trainiert: 7, 13, 33 und 65 Milliarden <a href="Parameter_(K%C3%BCnstliche_Intelligenz)" title="Parameter (Künstliche Intelligenz)">Parameter</a>.<a href="#cite_note-:2-7">[7]</a> Die LLaMA-Entwickler berichteten, dass die Leistung des 13B-Parameter-Modells bei den meisten <a href="Neurolinguistik" title="Neurolinguistik">NLP</a>-<a href="Benchmark" title="Benchmark">Benchmarks</a> die Leistung des viel größeren <a href="Generative_Pre-trained_Transformer_3" class="mw-redirect" title="Generative Pre-trained Transformer 3">GPT-3</a> (mit 175 Mrd. Parametern) übertraf und dass das größte Modell mit aktuellen Modellen wie <a href="PaLM" title="PaLM">PaLM</a> und Chinchilla, einem von Google im März 2022 vorgestelltem großem Sprachmodell, konkurrenzfähig war.<a href="#cite_note-:1-3">[3]</a><a href="#cite_note-:2-7">[7]</a>

Das LLaMA Modell wurde auf einem Datensatz mit 1,4 Billionen sogenannten Token trainiert, die aus öffentlich zugänglichen Datenquellen stammten, darunter:<a href="#cite_note-:1-3">[3]</a>

<ul><li>Von <a href="Common_Crawl" title="Common Crawl">Common Crawl</a> gescrapte Webseiten</li>

<li>Open-Source-Repositories mit Quellcode von <a href="GitHub" title="GitHub">GitHub</a></li>

<li>Wikipedia in 20 verschiedenen Sprachen</li>

<li>Gemeinfreie Bücher von <a href="Project_Gutenberg" title="Project Gutenberg">Project Gutenberg</a></li>

<li>Der <a href="LaTeX" title="LaTeX">LaTeX</a>-Quellcode für wissenschaftliche Arbeiten, die auf <a href="ArXiv" title="ArXiv">ArXiv</a> hochgeladen wurden</li>

<li>Fragen und Antworten von <a href="Stack_Exchange" title="Stack Exchange">Stack-Exchange</a>-Webseiten</li></ul>

LLaMa Version 2 wurde am 19. Juli 2023 durch Meta gemeinsam mit Microsoft vorgestellt.<a href="#cite_note-8">[8]</a> Eigenen Angaben zufolge wurden 40 Prozent mehr Daten für das Training eingesetzt und dabei doppelt so viel Kontext einbezogen. LLaMA 2 liegt in drei unterschiedlich großen Varianten vor: mit sieben Milliarden, 13 Milliarden sowie 70 Milliarden Parametern.

Am 23. Juli 2024 publizierte Meta das Modell Llama 3.1 mit 8, 70 oder 405 Milliarden Parametern als frei zugängliche Version.<a href="#cite_note-9">[9]</a> Das im September 2024 veröffentlichte neueste Modell Llama 3.2 ist in Europa noch nicht frei zugänglich.<a href="#cite_note-10">[10]</a>

<div class="mw-heading mw-heading2"><h2 id="Einzelnachweise">Einzelnachweise</h2></div>

<li id="cite_note-1"><a href="#cite_ref-1">↑</a> Eike Kühl: <cite style="font-style:italic">KI-Chatbot von Meta: Ein Llama auf Abwegen</cite>. In: <cite style="font-style:italic">Die Zeit</cite>. 6. März 2023, <a href="Internationale_Standardnummer_f%C3%BCr_fortlaufende_Sammelwerke" title="Internationale Standardnummer für fortlaufende Sammelwerke">ISSN</a> <a rel="nofollow" class="external text" href="https://zdb-katalog.de/list.xhtml?t=iss%3D%220044-2070%22&key=cql">0044-2070</a> (<a rel="nofollow" class="external text" href="https://www.zeit.de/digital/internet/2023-03/llama-ki-chatbot-meta-leak">zeit.de</a> [abgerufen am 7. Februar 2024]).<span class="Z3988" title="ctx_ver=Z39.88-2004&rft_val_fmt=info%3Aofi%2Ffmt%3Akev%3Amtx%3Ajournal&rfr_id=info:sid/de.wikipedia.org:LLaMA-Sprachmodell&rft.atitle=KI-Chatbot+von+Meta%3A+Ein+Llama+auf+Abwegen&rft.au=Eike+K%C3%BChl&rft.date=2023-03-06&rft.genre=journal&rft.issn=0044-2070&rft.jtitle=Die+Zeit&rft.place=Hamburg" style="display:none">

</li>

<li id="cite_note-:0-2">↑ <a href="#cite_ref-:0_2-0">a</a> <a href="#cite_ref-:0_2-1">b</a> <a rel="nofollow" class="external text" href="https://ai.facebook.com/blog/large-language-model-llama-meta-ai/">Introducing LLaMA: A foundational, 65-billion-parameter language model.</a> Abgerufen am 7. Februar 2024 (englisch).<span style="display: none;" class="Z3988" title="ctx_ver=Z39.88-2004&rft_val_fmt=info%3Aofi%2Ffmt%3Akev%3Amtx%3Adc&rfr_id=info%3Asid%2Fde.wikipedia.org%3ALLaMA-Sprachmodell&rft.title=Introducing+LLaMA%3A+A+foundational%2C+65-billion-parameter+language+model&rft.description=Introducing+LLaMA%3A+A+foundational%2C+65-billion-parameter+language+model&rft.identifier=https%3A%2F%2Fai.facebook.com%2Fblog%2Flarge-language-model-llama-meta-ai%2F&rft.language=en">

</li>

<li id="cite_note-:1-3">↑ <a href="#cite_ref-:1_3-0">a</a> <a href="#cite_ref-:1_3-1">b</a> <a href="#cite_ref-:1_3-2">c</a> Hugo Touvron, Thibaut Lavril, Gautier Izacard, Xavier Martinet, Marie-Anne Lachaux, Timothée Lacroix, Baptiste Rozière et al: <a rel="nofollow" class="external text" href="https://arxiv.org/abs/2302.13971">LLaMA: Open and Efficient Foundation Language Models.</a> In: arxiv. Meta AI, 27. Februar 2023, abgerufen am 7. Februar 2024 (englisch).<span style="display: none;" class="Z3988" title="ctx_ver=Z39.88-2004&rft_val_fmt=info%3Aofi%2Ffmt%3Akev%3Amtx%3Adc&rfr_id=info%3Asid%2Fde.wikipedia.org%3ALLaMA-Sprachmodell&rft.title=LLaMA%3A+Open+and+Efficient+Foundation+Language+Models&rft.description=LLaMA%3A+Open+and+Efficient+Foundation+Language+Models&rft.identifier=https%3A%2F%2Farxiv.org%2Fabs%2F2302.13971&rft.creator=Hugo+Touvron%2C+Thibaut+Lavril%2C+Gautier+Izacard%2C+Xavier+Martinet%2C+Marie-Anne+Lachaux%2C+Timoth%C3%A9e+Lacroix%2C+Baptiste+Rozi%C3%A8re+et+al&rft.publisher=Meta+AI&rft.date=2023-02-27&rft.language=en">

</li>

<li id="cite_note-4"><a href="#cite_ref-4">↑</a> Emilia David: <a rel="nofollow" class="external text" href="https://www.theverge.com/2023/7/18/23799025/meta-ai-llama-2-open-source-microsoft">Meta is giving away its AI tech to try to beat ChatGPT.</a> 18. Juli 2023, abgerufen am 7. Februar 2024 (englisch).<span style="display: none;" class="Z3988" title="ctx_ver=Z39.88-2004&rft_val_fmt=info%3Aofi%2Ffmt%3Akev%3Amtx%3Adc&rfr_id=info%3Asid%2Fde.wikipedia.org%3ALLaMA-Sprachmodell&rft.title=Meta+is+giving+away+its+AI+tech+to+try+to+beat+ChatGPT&rft.description=Meta+is+giving+away+its+AI+tech+to+try+to+beat+ChatGPT&rft.identifier=https%3A%2F%2Fwww.theverge.com%2F2023%2F7%2F18%2F23799025%2Fmeta-ai-llama-2-open-source-microsoft&rft.creator=Emilia+David&rft.date=2023-07-18&rft.language=en">

</li>

<li id="cite_note-5"><a href="#cite_ref-5">↑</a> <a rel="nofollow" class="external text" href="https://github.com/facebookresearch/llama">facebookresearch/llama.</a> Meta Research, 7. Februar 2024, abgerufen am 7. Februar 2024.<span style="display: none;" class="Z3988" title="ctx_ver=Z39.88-2004&rft_val_fmt=info%3Aofi%2Ffmt%3Akev%3Amtx%3Adc&rfr_id=info%3Asid%2Fde.wikipedia.org%3ALLaMA-Sprachmodell&rft.title=facebookresearch%2Fllama&rft.description=facebookresearch%2Fllama&rft.identifier=https%3A%2F%2Fgithub.com%2Ffacebookresearch%2Fllama&rft.publisher=Meta+Research&rft.date=2024-02-07">

</li>

<li id="cite_note-6"><a href="#cite_ref-6">↑</a> <a rel="nofollow" class="external text" href="https://ai.meta.com/blog/large-language-model-llama-meta-ai/">Introducing LLaMA: A foundational, 65-billion-parameter language model.</a> Abgerufen am 7. Februar 2024 (englisch): „Access to the model will be granted on a case-by-case basis to academic researchers; those affiliated with organizations in government, civil society, and academia; and industry research laboratories around the world. People interested in applying for access can find the link to the application in our research paper.“<span style="display: none;" class="Z3988" title="ctx_ver=Z39.88-2004&rft_val_fmt=info%3Aofi%2Ffmt%3Akev%3Amtx%3Adc&rfr_id=info%3Asid%2Fde.wikipedia.org%3ALLaMA-Sprachmodell&rft.title=Introducing+LLaMA%3A+A+foundational%2C+65-billion-parameter+language+model&rft.description=Introducing+LLaMA%3A+A+foundational%2C+65-billion-parameter+language+model&rft.identifier=https%3A%2F%2Fai.meta.com%2Fblog%2Flarge-language-model-llama-meta-ai%2F&rft.language=en">

</li>

<li id="cite_note-:2-7">↑ <a href="#cite_ref-:2_7-0">a</a> <a href="#cite_ref-:2_7-1">b</a> Steffen Albrecht: <a rel="nofollow" class="external text" href="https://www.bundestag.de/resource/blob/944148/30b0896f6e49908155fcd01d77f57922/20-18-109-Hintergrundpapier-data.pdf">ChatGPT und andere Computermodelle zur Sprachverarbeitung – Grundlagen, Anwendungspotenziale und mögliche Auswirkungen.</a> In: Deutscher Bundestag. Deutscher Bundestag, 21. April 2023, S. 24, abgerufen am 7. Februar 2024.<span style="display: none;" class="Z3988" title="ctx_ver=Z39.88-2004&rft_val_fmt=info%3Aofi%2Ffmt%3Akev%3Amtx%3Adc&rfr_id=info%3Asid%2Fde.wikipedia.org%3ALLaMA-Sprachmodell&rft.title=ChatGPT+und+andere+Computermodelle+zur+Sprachverarbeitung+%E2%80%93+Grundlagen%2C+Anwendungspotenziale+und+m%C3%B6gliche+Auswirkungen&rft.description=ChatGPT+und+andere+Computermodelle+zur+Sprachverarbeitung+%E2%80%93+Grundlagen%2C+Anwendungspotenziale+und+m%C3%B6gliche+Auswirkungen&rft.identifier=https%3A%2F%2Fwww.bundestag.de%2Fresource%2Fblob%2F944148%2F30b0896f6e49908155fcd01d77f57922%2F20-18-109-Hintergrundpapier-data.pdf&rft.creator=Steffen+Albrecht&rft.publisher=Deutscher+Bundestag&rft.date=2023-04-21&rft.language=de">

</li>

<li id="cite_note-8"><a href="#cite_ref-8">↑</a> heise online: <a rel="nofollow" class="external text" href="https://www.heise.de/news/Meta-und-Microsoft-praesentieren-neues-Sprachmodell-LLaMA-2-9220357.html">Meta und Microsoft präsentieren neues Sprachmodell LLaMA 2.</a> 19. Juli 2023, abgerufen am 7. Februar 2024.<span style="display: none;" class="Z3988" title="ctx_ver=Z39.88-2004&rft_val_fmt=info%3Aofi%2Ffmt%3Akev%3Amtx%3Adc&rfr_id=info%3Asid%2Fde.wikipedia.org%3ALLaMA-Sprachmodell&rft.title=Meta+und+Microsoft+pr%C3%A4sentieren+neues+Sprachmodell+LLaMA+2&rft.description=Meta+und+Microsoft+pr%C3%A4sentieren+neues+Sprachmodell+LLaMA+2&rft.identifier=https%3A%2F%2Fwww.heise.de%2Fnews%2FMeta-und-Microsoft-praesentieren-neues-Sprachmodell-LLaMA-2-9220357.html&rft.creator=heise+online&rft.date=2023-07-19&rft.language=de">

</li>

<li id="cite_note-9"><a href="#cite_ref-9">↑</a> <a rel="nofollow" class="external text" href="https://ai.meta.com/blog/meta-llama-3-1/">Introducing Llama 3.1: Our most capable models to date.</a> Meta, 23. Juli 2024, abgerufen am 26. Juli 2024 (englisch).<span style="display: none;" class="Z3988" title="ctx_ver=Z39.88-2004&rft_val_fmt=info%3Aofi%2Ffmt%3Akev%3Amtx%3Adc&rfr_id=info%3Asid%2Fde.wikipedia.org%3ALLaMA-Sprachmodell&rft.title=Introducing+Llama+3.1%3A+Our+most+capable+models+to+date&rft.description=Introducing+Llama+3.1%3A+Our+most+capable+models+to+date&rft.identifier=https%3A%2F%2Fai.meta.com%2Fblog%2Fmeta-llama-3-1%2F&rft.publisher=Meta&rft.date=2024-07-23&rft.language=en">

</li>

<li id="cite_note-10"><a href="#cite_ref-10">↑</a> <a rel="nofollow" class="external text" href="https://ai.meta.com/blog/llama-3-2-connect-2024-vision-edge-mobile-devices/">Llama 3.2: Revolutionizing edge AI and vision with open, customizable models.</a> Meta, 25. September 2024, abgerufen am 2. Oktober 2024 (englisch).<span style="display: none;" class="Z3988" title="ctx_ver=Z39.88-2004&rft_val_fmt=info%3Aofi%2Ffmt%3Akev%3Amtx%3Adc&rfr_id=info%3Asid%2Fde.wikipedia.org%3ALLaMA-Sprachmodell&rft.title=Llama+3.2%3A+Revolutionizing+edge+AI+and+vision+with+open%2C+customizable+models&rft.description=Llama+3.2%3A+Revolutionizing+edge+AI+and+vision+with+open%2C+customizable+models&rft.identifier=https%3A%2F%2Fai.meta.com%2Fblog%2Fllama-3-2-connect-2024-vision-edge-mobile-devices%2F&rft.publisher=Meta&rft.date=2024-09-25&rft.language=en">

</li>

</ol></div><div><div class="zim-footer">

Dieser Artikel wurde von <a class="external text" title="Zuletzt bearbeitet am 2025-06-03" href="https://de.wikipedia.org/wiki/?title=LLaMA-Sprachmodell&oldid=256664440">Wikipedia</a> herausgegeben. Der Text ist unter <a class="external text" href="https://creativecommons.org/licenses/by-sa/4.0/deed.de">Creative Commons Attribution-Share Alike 4.0</a> verfügbar, sofern nicht anders angegeben. Für die Mediendateien können zusätzliche Bedingungen gelten.

</div>

</div></div>

</div>

</main>

</div>

</body></html>